Omstreeks 1830 was het goed eigendom van Josephus Johannes De Rouck. Op dat moment spreekt men van een lustbos. Het complex ondergaat de volgende jaren weinig wijzigingen en het wordt in 1852 geërfd door August De Rouck.
Met deze jonge eigenaar komt de geschiedenis van het domein in een stroomversnelling. Stukje bij beetje koopt hij aanpalende gronden, tot het complex omstreeks 1879 ongeveer zijn huidige contouren kreeg. In 1871 laat August De Rouck op een van de hoogste punten van zijn goed een landhuis bouwen. Van hieruit had hij een uniek zicht op het park.
Gentenaar Georges Henry verwerft het domein in 1887. Inspelend op de trend dat de begoede burger zich een lusthof aanlegde, laat hij in Breivelde een landschapstuin aanleggen. Kort na de laatste eeuwwisseling koopt Philippe Plancqaert van Exen het domein en laat hij het landhuis herbouwen in neo-Vlaamse renaissancestijl. Al in 1907 komt het park met kasteel in nieuwe handen, ridder van Male de Ghorain verwerft het goed. Het blijft eigendom van zijn familie tot de gemeente Zottegem het aankoopt. Het kasteel Breivelde heeft nu een horeca functie.